Проект компилируется с помощью утилиты hhc.exe

Использовать ее можно из командной строки передав имя проекта.

Usage:   hhc <filename>
    where <filename> = an HTML Help project file
Example: hhc myfile.hhp

Я скопировал ее в каталог с проектом и написал bat файл.

hhc.exe mychm.hhp
pause

В результате проект собрался.

А соответственно можно запустить проект на сборку и из своей программы.